从出行行为挖掘隐式意图的跨域 POI 推荐 MILES-Rec
🧭 生成式 query 推荐 · LLM 跨域意图推理 ★ 深度解读
AMAP, Alibaba Group
用 LLM 将地图出行行为与画像推理为有序自然语言 query，再用 GRPO 双层 credit assignment 对齐后续服务交互
📌 工作参考价值（5 点）
- 跨域推荐可用「自然语言 query 列表」作为语义桥：当行为域与商品/服务域无直接 ID 重叠时，不直接预测 item，而让 LLM 先输出多条有序意图 query（primary/expansion），再复用现有检索/召回。可迁移到从站内浏览、搜索、收藏、加购等异质行为生成导购 query，接商品/POI 检索。
- 两阶段训练可落地：先用大模型+人工校验合成三段式推理 SFT 数据（situation understanding → intent expansion → query prioritization），要求证据引用并去重；再用后续点击/下单做 GRPO。相比直接 SFT，能显著提升下游 Hit/NDCG，冷启与稀疏历史也受益。
- 奖励设计值得复用：用后验交互按细类聚合后，计算 query-category 匹配概率 × query-目标内容 embedding 相似度，one-to-one 最大权匹配 + rank discount 量化列表覆盖；重复 query 和超长惩罚可抑制冗余。适合只有隐式反馈、无逐 query 标签的列表生成任务。
- two-level credit assignment 是关键 trick：list-level advantage 管整体覆盖，query-specific advantage 只加在对应 query token 上，不能广播到所有 query；这能同时优化单 query 相关性和列表多样性。在生成广告文案、搜索推荐词、多意图 query 时可直接借鉴。
- 完整 60 天历史好过 7 天窗口；画像在行为稀疏时更补益。实际系统可将轨迹/行为窗口放大，并对冷启动保留画像与城市上下文。
R2QRec：从检索反馈中学习推荐查询
🧭 生成式推荐 · 检索反馈强化学习 ★ 深度解读
快手科技 · 香港浸会大学
用固定检索器构造可检索 query 监督，并以 RRF 融合排名反馈优化 query 生成器
📌 工作参考价值（4 点）
- 可借鉴 retrieval-verified SFT 做 query/文案生成：在无法标注“正确 query”的场景，先用 LLM 生成候选 query，再用固定 retriever 对 target item 的命中 rank 过滤，只保留能检索到 target 的表达作为 SFT 数据；比直接拟合商品/内容标题更贴合线上检索行为。
- 用固定检索器 + RRF 融合后 target rank 作为奖励，可在电商/广告搜索推荐中直接复用：让线上 ES/向量召回服务执行当前 policy 的 query set，取 target item 在融合列表中的 rank，奖励设为 -log(1+rank)，再接 GRPO，无需单独训练 reward model。
- 工程实现上只训练 LoRA，冻结 LLM backbone、retriever 和 item index；query generator 不枚举 item，推理成本主要在生成，检索可走预计算 item embedding + 近似索引，适合大 catalog 冷启动和线上迭代。
- 多 query + RRF 是轻量但有效的召回融合方式；query 数 K 可以推理期灵活调整而不改变 checkpoint。该方法还显示 query generator 的跨域迁移能力，新域/冷启动时可直接用其他域训练好的 generator，比重新训练 ID 类模型更易复用。
电商搜索文档扩展中基于 DPO 的查询生成 QGDPO
🧭 生成式查询扩展 · DPO 偏好对齐 ★ 深度解读
Walmart Global Technology
用相关模型构造偏好对做 DPO，再将生成 query 过相关过滤，显著减少 Doc2Query 幻觉并提升线上搜索相关性与加购率
📌 工作参考价值（4 点）
- 可直接复用「相关模型自动构造 DPO 偏好对」：用已有的三分类相关模型 exact/substitute/irrelevant 对 SFT 生成的 query 打分，按 exact 和 irrelevant 自动配对，省去人工偏好标注；DPO 学习率用 1e-6（远低于 SFT 的 1e-4），β 取 0.1，能明显压住幻觉。
- SFT + DPO 之后再接 relevance filter，两个增益相互独立、可叠加；过滤阈值选 95% recall，既能保持较高 precision（0.866），又不过度牺牲生成的新 token 数量，适合商品文档扩展场景。
- Query 生成式检索里，beam search（beam=10，no repeat ngram=2）比 top-k / top-k+top-p 更稳定，exact 率更高、irrelevant 率更低；如果业务追求线上检索结果稳定可复现，优先用 beam search。
- 用 Mistral-7B + LoRA（rank=256, alpha=64）替代 T5-base 做 Doc2Query，在媒体、玩具等依赖世界知识的商品上能生成更多有用新 token，但需离线批量推理并权衡成本；可以只对长尾或特殊品类启用 LLM 版本。
可移植查询生成的奖励信号设计：工业语义职位搜索案例研究
🧭 生成式查询推荐 · 奖励工程
LinkedIn Corporation
在RL查询生成中，奖励塑造远比优化器选择关键，规则奖励底线可抑制GRPO的奖励黑客行为
📌 工作参考价值（4 点）
- 奖励塑造优先于算法选择：在电商搜索/广告文案生成等RL微调场景，即便用GRPO/PPO等先进算法，若奖励信号不鲁棒，模型仍会走捷径（如抄袭输入）。应把主要精力放在设计抗黑客的奖励函数上，算法选择相对次要。
- GRPO的组归一化脆弱性：GRPO由于使用组内相对优势，更容易被虚假奖励信号利用。若业务使用GRPO训练查询/文案生成，务必监控模型是否退化为逐字复制，可通过规则底线奖励（如检测抄袭时给予低分）来纠正。
- 推荐使用critic-free优化器：RLOO、REINFORCE++等无critic方法天然抵抗奖励黑客，在难以精确建模价值函数时更安全，可直接上线尝试。
- 评估时独立于训练奖励模型：训练阶段奖励模型会夸大性能（本案例中2.4倍），部署前必须用独立的、跨家族的裁判模型或人工评估来测量真实质量增益。
OneFeed：统一生成式框架同时建模商品推荐与搜索Query生成
🧭 生成式推荐 · Semantic ID 联合 Query 生成 ★ 深度解读
用一个共享编码器同时生成推荐用的语义ID和搜索用的自然语言Query，并通过对比对齐弥补语义鸿沟
📌 工作参考价值（4 点）
- 统一 Feed 与搜索的生成范式：共享行为编码器同时产生 Semantic ID 和自然语言 Query，可以借鉴到电商的「千人千面」Feed 流中，让一个模型既做推荐又做搜索类目/query 推送，减少维护两套系统的成本。
- SID-Query 对齐的设计：用对比学习让离散的语义 ID 和自然语言 Query 共享嵌入空间，这样生成的 Query 可以直接检索到与语义 ID 对应的商品候选，推荐和搜索的候选池可以无缝融合。在业务里可尝试将商品聚类码与用户搜索词进行对齐，提升跨链路触达。
- 闭环自增强范式：利用生成内容获得的隐式反馈（点击/跳过/转化）同时监督两个生成头，无需人工标注。可以复用到 Agent/多智体场景中，Agent 生成的推荐物料或查询被用户反馈后，作为训练信号自举提升。
- 弱监督 Query 构造：在只有商品文本元数据的场景下，用标题、类目、高频词拼接伪 Query，为没有搜索日志的业务线提供了一种低成本冷启动搜索式推荐的思路。注意严格防泄露：训练时只用历史时间窗口前的元数据，测试集不参与聚类和共现校准。
用 LLM 合成查询与标签破解自然语言搜索冷启动
🧭 自然语言搜索 · 合成数据冷启动 ★ 深度解读
Airbnb
用少量种子查询引导 LLM 生成带标咨询数据和标签，使查询分布接近真实用户，支持检索与排序模型冷启动训练
📌 工作参考价值（4 点）
- 用种子查询控制 LLM 生成风格：直接让 LLM 无约束生成会产出冗长、多属性的查询，与真实用户短促、不规范的表达严重不匹配。从用户调研或早期日志中收集数百条种子查询作为模板，可以大幅降低 KL 散度（本文从 4.95→0.66），实现更逼真的查询分布。在电商搜索、对话式推荐中可复用此思路，用小样本种子让合成数据贴合真实语言。
- 三类提示模板平衡真实性与多样性：seed_controlled 严格保持种子结构，适合属性覆盖；seed_freeform 模仿风格但允许变化；variety 放松约束、提高温度，探索长尾意图。实际生成时按比例混合三种模板，既能保证主流查询的真实感，又能覆盖边缘场景。推荐系统在生成候选集时可借鉴这种分阶段控制的提示策略。
- 困难样本构建的分层采样与提示技巧：为避免全是简单样本（所有模型都能答对），通过限制样本对相似度（同类别、嵌入距离过滤）和提示中加入“难度桶”、反事实编辑等手段生成有区分度的训练数据。这对于提高 ranking 模型的迭代信号非常重要，电商场景下可借鉴硬负样本挖掘来提升模型判别力。
- 从 LLM 自生成数据中避开自偏好陷阱：用 LLM 评估 LLM 生成的内容容易出现系统性偏爱（本文 GPT 评估自身生成的对准确率高达 99%），实际训练中建议用构建式标签（对比生成）保证高保真，用 LLM 评估仅作离线质量检查；且通过属性锚定、人工校准、使用异构模型降低自我偏好风险。这对任何用 LLM 生成训练数据的团队都是重要提醒。